import numpy as np

raw_data = [
    ["Name", "StudentID", "Age", "AttendClass", "Score"],
    ["小明", 20131, 10, 1, 67],
    ["小花", 20132, 11, 1, 88],
    ["小菜", 20133, None, 1, "98"],
    ["小七", 20134, 8, 1, 110],
    ["花菜", 20134, 98, 0, None],
    ["刘欣", 20136, 12, 0, 12]
]


# 数据预处理（摘除数据以外的东西）
data_process = []
for i in range(len(raw_data)):
    if i == 0:
        continue  # 不要首行
    data_process.append(raw_data[i][1:])  # 去掉首列名字

data = np.array(data_process, dtype=np.float64)


# 清洗学号重复的数据
unique, counts_mask = np.unique(data[:, 0], return_counts=True)
print(unique[counts_mask > 1])
# 发现少了个学号为20135的数据，所以修改错误数据
data[4, 0] = 20135


# 在年龄列中，去掉None的，去掉特别大的做成mask
normal_age_mask = ~np.isnan(data[:, 1]) & (data[:, 1] < 30)
# mask范围内True的算在计算范围，并计算平均值
normal_age_mean = data[normal_age_mask, 1].mean()
# 将平均年龄赋值给脏数据，进行清理
data[~normal_age_mask, 1] = normal_age_mean


# 查看后发现，没上课的（0的），应该没有成绩才对(nan才对)，超过满分的也不对，需要清洗
# 最低分设为0，最高分设为100
data[:, 3] = np.clip(data[:, 3], 0, 100)
# 没上课的成绩设为nan
data[data[:, 2] == 0, 3] = np.nan

print(data[:])
